Robots.txt

Robots.txt
PodWEB
A file which specifies which pages or folders should NOT be indexed by search engines. This is used for Search Engine Optimization to exclude content that doesn’t need to be indexed and might confuse the search engine crawlers.

Audio and video glossary. 2014.

Игры ⚽ Поможем написать реферат

Look at other dictionaries:

  • Robots.txt — Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d indexation… …   Wikipédia en Français

  • Robots.txt — robots.txt  файл ограничения доступа к содержимому роботам на http сервере. Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких субдоменов файл должен располагаться в… …   Википедия

  • robots.txt — robots.txt,   Datei, die von Suchmaschinen beauftragte automatische Rechercheprogramme (Roboter) daran hindert, bestimmte Teile eines Webservers zu untersuchen. Man nennt diese Technik auch Robot Exclusion (dt. »Roboterausschluss«).   Die Datei… …   Universal-Lexikon

  • Robots.txt — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • Robots.txt — Mit dieser Textdatei im Hauptverzeichnis einer Website können Spider i.d.R. davon abgehalten werden, bestimmte Dateien oder Ordner zu spidern und zu indexieren. Seriöse Suchmaschinen Spider halten sich an diese Anweisungen. Webseiten, die absolut …   SEO Wörterbuch

  • robots.txt — ● np. m. ►MOTREC Fichier placé dans un répertoire d un site web et destiné aux moteur de recherche. Il contient des indications disant ce qu il faut indexer et ce qu il faut laisser de côté …   Dictionnaire d'informatique francophone

  • Robots exclusion standard — selfref| For restricting Wikipedia bots, see .|The robot exclusion standard, also known as the Robots Exclusion Protocol or robots.txt protocol, is a convention to prevent cooperating web spiders and other web robots from accessing all or part of …   Wikipedia

  • Robots Exclusion Standard — Nach der Übereinkunft des Robots Exclusion Standard Protokolls liest ein Webcrawler (Robot) beim Auffinden einer Webseite zuerst die Datei robots.txt (kleingeschrieben) im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt… …   Deutsch Wikipedia

  • Robots d'indexation — Robot d indexation Pour les articles homonymes, voir Spider. Un robot d indexation (ou littéralement araignée du Web ; en anglais web crawler ou web spider) est un logiciel qui explore automatiquement le Web. Il est généralement conçu pour… …   Wikipédia en Français

  • Robot.txt — Robots.txt Robots.txt, ou le fichier d exclusion des robots, est une ressource de format texte qui peut être placée la racine d un site Web, et qui contient une liste des ressources du site qui ne sont pas censées être indexées par les robots d… …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”